Why Are GUI Agents Correct but Late? Decode on the Decision-Time Critical Path, Tested with Pre-Compiled Policy Trees
GUI 代理为什么正确却迟到？预编译策略树消除解码延迟
🧭 Agent 决策时延优化
Georgia Institute of Technology · Fudan University · Marquette University · University of North Carolina at Chapel Hill · National University of Singapore
提出自适应预期策略树，在空闲时提前规划 GUI 动作分支，事件触发时即时匹配执行，消除自回归解码延迟
📌 工作参考价值（4 点）
- 在实时推荐/竞价系统中，若候选动作集可枚举（如固定模板、预设回复），可用预编译策略树将 LLM 推理从在线关键路径移出，仅保留轻量状态匹配，避免解码延迟导致错过机会。
- 分支路由准确性是决定效果的关键瓶颈，工业落地时需重点优化状态匹配模型（如训练轻量分类器或规则引擎）以降低误匹配率。
- 借鉴“延迟感知的树规模控制”：根据系统解码时延动态设定策略树层数，确保覆盖可能的等待时间，避免过度规划浪费资源。
- 对于多模态 Agent 架构（如电商导购助手），可考虑将屏幕截图的变化检测与预编译分支结合，实现低延迟响应，尤其在闪购、秒杀等瞬态场景。